深度学习模型已经实现了患者电子健康记录（EHR）的有希望的疾病预测。但是，大多数模型在I.I.D.下开发了假设未能考虑不可知的分布变化，从而降低了深度学习模型到分布（OOD）数据的概括能力。在这种情况下，将利用可能在不同环境中发生变化的虚假统计相关性，这可能会导致深度学习模型的次优性能。训练分布中存在过程和诊断之间的不稳定相关性可能会导致历史EHR与未来诊断之间的虚假相关性。为了解决这个问题，我们建议使用一种称为因果医疗保健嵌入（CHE）的因果表示学习方法。 CHE旨在通过消除诊断和程序之间的依赖性来消除虚假的统计关系。我们介绍了希尔伯特 - 史密特独立标准（HSIC），以衡量嵌入式诊断和程序特征之间的独立性。基于因果观点分析，我们执行样本加权技术，以摆脱这种虚假关系，以跨不同环境对EHR进行稳定学习。此外，我们提出的CHE方法可以用作灵活的插件模块，可以增强EHR上现有的深度学习模型。在两个公共数据集和五个最先进的基线上进行了广泛的实验表明，CHE可以通过大幅度提高深度学习模型对分布数据的预测准确性。此外，可解释性研究表明，CHE可以成功利用因果结构来反映历史记录对预测的更合理贡献。

建模用户从历史行为中的动态偏好在于现代推荐系统的核心。由于用户兴趣的多样性，最近的进步建议多功能网络将历史行为编码为多个兴趣向量。在实际情况下，通常会一起检索相应的捕获兴趣项目，以获取曝光并收集到培训数据中，从而产生兴趣之间的依赖性。不幸的是，多息网络可能错误地集中在被捕获的利益之间的微妙依赖性上。被这些依赖性误导了，捕获了无关的利益和目标之间的虚假相关性，从而导致训练和测试分布不匹配时预测结果不稳定。在本文中，我们介绍了广泛使用的Hilbert-Schmidt独立标准（HSIC）来衡量被捕获的利益之间的独立性程度，并经验表明，HSIC的持续增加可能会损害模型性能。基于此，我们提出了一个新颖的多息网络，称为深稳定的多功能学习（Desmil），该网络试图通过学习权重以训练样本的学习权重消除捕获的兴趣中微妙的依赖性的影响因果关系。我们对公共建议数据集，大规模工业数据集和合成数据集进行了广泛的实验，这些数据集模拟了分布数据的数据集。实验结果表明，我们提出的Desmil的表现优于最先进的模型。此外，我们还进行了全面的模型分析，以揭示Desmil在一定程度上工作的原因。

现在，我们目睹了深度学习方法在各种蛋白质（或数据集）中的重大进展。但是，缺乏评估不同方法的性能的标准基准，这阻碍了该领域的深度学习进步。在本文中，我们提出了一种称为PEER的基准，这是一种用于蛋白质序列理解的全面和多任务基准。 PEER提供了一组不同的蛋白质理解任务，包括蛋白质功能预测，蛋白质定位预测，蛋白质结构预测，蛋白质 - 蛋白质相互作用预测和蛋白质 - 配体相互作用预测。我们评估每个任务的不同类型的基于序列的方法，包括传统的特征工程方法，不同的序列编码方法以及大规模的预训练蛋白质语言模型。此外，我们还研究了这些方法在多任务学习设置下的性能。实验结果表明，大规模的预训练蛋白质语言模型可实现大多数单个任务的最佳性能，共同训练多个任务进一步提高了性能。该基准的数据集和源代码均可在https://github.com/deepgraphlearning/peer_benchmark上获得

Formulating and answering logical queries is a standard communication interface for knowledge graphs (KGs). Alleviating the notorious incompleteness of real-world KGs, neural methods achieved impressive results in link prediction and complex query answering tasks by learning representations of entities, relations, and queries. Still, most existing query answering methods rely on transductive entity embeddings and cannot generalize to KGs containing new entities without retraining the entity embeddings. In this work, we study the inductive query answering task where inference is performed on a graph containing new entities with queries over both seen and unseen entities. To this end, we devise two mechanisms leveraging inductive node and relational structure representations powered by graph neural networks (GNNs). Experimentally, we show that inductive models are able to perform logical reasoning at inference time over unseen nodes generalizing to graphs up to 500% larger than training ones. Exploring the efficiency--effectiveness trade-off, we find the inductive relational structure representation method generally achieves higher performance, while the inductive node representation method is able to answer complex queries in the inference-only regime without any training on queries and scales to graphs of millions of nodes. Code is available at https://github.com/DeepGraphLearning/InductiveQE.

在知识图上回答复杂的一阶逻辑（FOL）查询是多跳推理的基本任务。传统的符号方法穿越完整的知识图来提取答案，从而为每个步骤提供良好的解释。最近的神经方法学习复杂查询的几何嵌入。这些方法可以推广到不完整的知识图，但是它们的推理过程很难解释。在本文中，我们提出了图形神经网络查询执行器（GNN-QE），这是一种神经符号模型，享有两全其美的优势。 GNN-QE将复杂的数据分解为模糊集的关系预测和逻辑操作，这为中间变量提供了解释性。为了理解丢失的链接，GNN-QE从知识图完成中调整了图神经网络以执行关系预测，并使用产品模糊逻辑对逻辑操作进行建模。 3个数据集的实验表明，GNN-QE在回答FOL查询时显着改善了先前的最新模型。同时，GNN-QE可以在没有明确监督的情况下预测答案的数量，并为中间变量提供可视化。

旅行者可能会前往他们从未访问过的地点，我们将其称为潜在的目的地。尤其是在非常有限的观察结果下，旅行者倾向于显示随机运动模式，并且通常具有大量潜在目的地，这使得它们难以处理移动性预测（例如，目的地预测）。在本文中，我们开发了一个新的基于知识图的框架（PDPFKG），以通过考虑旅行之间的关联关系来潜在的目的地发现低可预测性旅行者。我们首先构建了旅行知识图（TKG），以通过实体（例如旅行者，目的地和时间信息）及其关系对旅行方案进行建模，我们在其中介绍了私人关系的概念以减少复杂性。然后，实现了修改的知识图嵌入算法以优化整体图表。根据Trip知识图嵌入模型（TKGEM），可以通过计算三元组的距离来获得个人未来未观察到的目的地的可能排名。经验。 PDPFKG使用来自中国Xuancheng City配备基于视频的车辆检测系统的138个交叉口的匿名车辆数据集进行了测试。结果表明，（i）所提出的方法显着优于基线方法，并且（ii）结果在选择潜在目的地中表现出与旅行者行为的强烈一致性。最后，我们对方法论的创新点进行了全面讨论。

链接预测是图形上非常基本的任务。在本文中受到传统路径的方法的启发，我们提出了一种基于链路预测路径的一般和灵活的表示学习框架。具体地，我们将一对节点的表示定义为所有路径表示的广义和，每个路径表示为路径中的边缘表示的广义乘积。通过贝尔曼-Ford算法来解决最短路径问题，我们表明，所提出的路径配方可以通过广义的Bellman-Ford算法有效地解决。为了进一步提高路径制构的能力，我们提出了神经贝尔曼 - 福特网络（NBFNET），这是一种全图神经网络框架，其解决了通过广义Bellman-Ford算法中的学习运算符的路径制定。 NBFNET使用3个神经元件，即指示器，消息和聚合函数参数，即分别对应于边界条件，乘法运算符和求和运算符。 NBFNET非常一般，涵盖许多传统的基于路径的方法，并且可以应用于转导和归纳设置的同质图和多关系图（例如，知识图表）。两个均匀图表和知识图表的实验表明，所提出的NBFNET在转换和归纳设置中的大幅度优于现有方法，实现了新的最先进的结果。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.

Few Shot Instance Segmentation (FSIS) requires models to detect and segment novel classes with limited several support examples. In this work, we explore a simple yet unified solution for FSIS as well as its incremental variants, and introduce a new framework named Reference Twice (RefT) to fully explore the relationship between support/query features based on a Transformer-like framework. Our key insights are two folds: Firstly, with the aid of support masks, we can generate dynamic class centers more appropriately to re-weight query features. Secondly, we find that support object queries have already encoded key factors after base training. In this way, the query features can be enhanced twice from two aspects, i.e., feature-level and instance-level. In particular, we firstly design a mask-based dynamic weighting module to enhance support features and then propose to link object queries for better calibration via cross-attention. After the above steps, the novel classes can be improved significantly over our strong baseline. Additionally, our new framework can be easily extended to incremental FSIS with minor modification. When benchmarking results on the COCO dataset for FSIS, gFSIS, and iFSIS settings, our method achieves a competitive performance compared to existing approaches across different shots, e.g., we boost nAP by noticeable +8.2/+9.4 over the current state-of-the-art FSIS method for 10/30-shot. We further demonstrate the superiority of our approach on Few Shot Object Detection. Code and model will be available.